Đương thời, tuy quân Cờ đen dưới sự chỉ huy của Lưu Vĩnh Phúc đánh thắng được Pháp một số trận, nhưng đội quân này cũng nhũng nhiễu cướp phá người dân Việt. Lúc bấy giờ Ông Ích Khiêm là một trong số những quan lại không hài lòng về việc thuê quân Cờ đen, đồng thời cũng chê trách các quan võ bất lực, lúc hữu sự phải nhờ vào người Tàu để đánh giặc. Ông có làm bài thơ trách[4]

Áo chúa cơm vua hưởng bấy lâuĐến khi có giặc phải thuê TàuTừng phen võng giá mau chân nhẩyÐến bước chông gai thấy mặt đâuTiền bạc quyên hoài dân xác mướpTrâu dê ngày hiến đứa răng bầuAi ôi hãy chống trời Nam lạiKẻo nửa dân ta phải cạo đầu[5]

Sau này, Lưu Vĩnh Phúc rời bỏ quân Cờ Đen, trở về Trung Quốc phục vụ triều Thanh, trở thành một võ tướng chính quy. Với những chiến tích trong Chiến tranh Pháp - Thanh và sau đó là nỗ lực bảo vệ Đài Loan khỏi quân Nhật xâm lược, Lưu Vĩnh Phúc được người Trung Quốc ca ngợi là một anh hùng dân tộc. Khu mộ của ông ngày nay là Di tích văn vật bảo vệ trọng điểm cấp quốc gia của Trung Quốc.